Tail-Likelihood Reinforcement Learning
尾部似然强化学习
🧭 生成式策略的尾部优化RL训练
Carnegie Mellon University · University of California, Berkeley · Impossible, Inc. · Together AI · Aurora Innovation
通过最大化超过随机奖励阈值的对数概率，保留生成式策略对稀有高奖励样本的覆盖，提升Best-of-k性能
📌 工作参考价值（4 点）
- 在生成式推荐/搜索词/广告文案场景用 RL 优化连续奖励（点击率、转化价值）时，可借鉴 TailRL 将连续奖励按随机阈值二值化，转化为“超过阈值”的成功事件，让训练更关注高价值尾部样本，避免模型只学会平均平庸输出。
- 推理阶段若使用 Best-of-N 采样/重排序，训练时需保留高奖励候选的覆盖。TailRL 的梯度可视为 Best-of-k 梯度混合，能防止尾部坍塌，直接提升线上多候选采样收益。
- 工程实现成本低：只需修改 advantage 函数或奖励处理逻辑，兼容已有 RLHF/GRPO/PPO 流程，适合现有 LLM 推理微调管线快速验证。
- 对回报分布长尾的业务（大促高转化、高客单、优质内容）尤其有效，可通过动态阈值模拟不同业务指标分位，平衡模型在不同难度目标间的泛化。